Информации теория - definition. What is Информации теория
Diclib.com
قاموس ChatGPT
أدخل كلمة أو عبارة بأي لغة 👆
اللغة:

ترجمة وتحليل الكلمات عن طريق الذكاء الاصطناعي ChatGPT

في هذه الصفحة يمكنك الحصول على تحليل مفصل لكلمة أو عبارة باستخدام أفضل تقنيات الذكاء الاصطناعي المتوفرة اليوم:

  • كيف يتم استخدام الكلمة في اللغة
  • تردد الكلمة
  • ما إذا كانت الكلمة تستخدم في كثير من الأحيان في اللغة المنطوقة أو المكتوبة
  • خيارات الترجمة إلى الروسية أو الإسبانية، على التوالي
  • أمثلة على استخدام الكلمة (عدة عبارات مع الترجمة)
  • أصل الكلمة

%ما هو (من)٪ 1 - تعريف

РАЗДЕЛ ПРИКЛАДНОЙ МАТЕМАТИКИ, РАДИОТЕХНИКИ И ИНФОРМАТИКИ, ОТНОСЯЩИЙСЯ К ИЗУЧЕНИЮ СВОЙСТВ ИНФОРМАЦИИ
Информации теория; Математическая теория связи; Теория передачи информации
  • Схема системы связи

Теория информации         
Теория информации — раздел прикладной математики, радиотехники (теория обработки сигналов) и информатики, относящийся к измерению количества информации, её свойств и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, теория оперирует математическими моделями, а не реальными физическими объектами (источниками и каналами связи).
Информации теория         

математическая дисциплина, исследующая процессы хранения, преобразования и передачи информации (См. Информация). И. т. - существенная часть кибернетики (См. Кибернетика). В основе И. т. лежит определённый способ измерения количества информации, содержащейся в каких-либо данных ("сообщениях"). И. т. исходит из представления о том, что сообщения, предназначенные для сохранения в запоминающем устройстве (См. Запоминающее устройство) или для передачи по каналу связи, не известны заранее с полной определённостью. Заранее известно лишь множество, из которого могут быть выбраны эти сообщения, и в лучшем случае - то, как часто выбирается то или иное из этих сообщений (т. е. вероятность сообщений). В И. т. показывается, что "неопределённость", с которой сталкиваются в подобной обстановке, допускает количественное выражение и что именно это выражение (а не конкретная природа самих сообщений) определяет возможность их хранения и передачи. В качестве такой "меры неопределённости" в И. т. принимается число двоичных знаков, необходимое для фиксирования (записи) произвольного сообщения данного источника. Более точно - рассматриваются все возможные способы обозначения сообщений цепочками символов 0 и 1 (двоичные коды), удовлетворяющие условиям: а) различным сообщениям соответствуют различные цепочки и б) по записи некоторой последовательности сообщений в кодированной форме эта последовательность должна однозначно восстанавливаться. Тогда в качестве меры неопределённости принимают среднее значение длины кодовой цепочки, соответствующее самому экономному способу кодирования (См. Кодирование); один двоичный знак служит единицей измерения (см. Двоичные единицы).

Пример. Пусть некоторые сообщения x1, x2, x3 появляются с вероятностями, равными соответственно 1/2, 3/8, 1/8. Какой-либо слишком короткий код, скажем

x1 = 0, x2 = 1, x3 = 01,

непригоден, так как нарушается вышеупомянутое условие б). Так, цепочка 01 может означать x1, x2 или x3. Код

x1 = 0, x2 = 10, x3 = 11,

удовлетворяет условиям а) и б). Ему соответствует среднее значение длины кодовой цепочки, равное

Нетрудно понять, что никакой другой код не может дать меньшего значения, т. е. указанный код - самый экономный. В соответствии с выбором меры неопределенности, неопределенность данного источника сообщении следует принять равной 1,5 двоичной единицы.

Здесь уместно подчеркнуть, что термины "сообщение", "канал связи" и т. п. понимают в И. т. очень широко. Так, с точки зрения И. т., источник сообщений описывается перечислением множества x1, x2,... возможных сообщений (которые могут быть словами какого-либо языка, результатами измерений, телевизионными изображениями и т. п.) и соответствующих им вероятностей p1, p2,...

Нет никакой простой формулы, выражающей точный минимум H' среднего числа двоичных знаков, необходимого для кодирования сообщении x1, x2,..., xn через вероятности p1, p2,..., pn этих сообщений. Однако указанный минимум не меньше величины

(где log2a обозначает логарифм числа a при основании 2) и может превосходить её не более чем на единицу. Величина Н (энтропия множества сообщений) обладает простыми формальными свойствами, а для всех выходов И. т., которые носят асимптотический характер, соответствуя случаю H' → ∞, разница между H и H' абсолютно несущественна. Поэтому именно энтропия принимается в качестве меры неопределённости сообщений данного источника. В приведённом выше примере энтропия равна

С изложенной точки зрения, энтропия бесконечной совокупности оказывается, как правило, бесконечной. Поэтому в применении к бесконечным совокупностям поступают иначе. Именно, задаются определённым уровнем точности и вводят понятие ε - энтропии, как энтропии сообщения, записываемого с точностью до ε, если сообщение представляет собой непрерывную величину или функцию (например, времени); подробнее см. в ст. Энтропия.

Так же как и понятие энтропии, понятие количества информации, содержащейся в одном случайном объекте (случайной величине, случайном векторе, случайной функции и т. д.) относительно другого, вводится сначала для объектов с конечным числом возможных значений. Затем общий случай изучается при помощи предельного перехода. В отличие от энтропии, количество информации, например, в одной непрерывно распределённой случайной величине относительно другой непрерывно распределённой величины очень часто оказывается конечным.

Понятие канала связи (см. Канал) в И. т. носит весьма общий характер. По сути дела, канал связи задаётся указанием множества "допустимых сообщений" на "входе канала", множеством "сообщений на выходе" и набором условных вероятностей получения того или иного сообщения на выходе при данном входном сообщении. Эти условные вероятности описывают влияние "помех", искажающих передаваемые сообщения, "Присоединяя" к каналу какой-либо источник сообщений, можно рассчитать количество информации относительно сообщения на входе, содержащееся в сообщении на выходе. Верхняя грань таких количеств информации, взятая по всем допустимым источникам, называется пропускной способностью (ёмкостью) канала. Ёмкость канала - его основная информационная характеристика несмотря на влияние (возможно сильное) помех в канале, при определённом соотношении между энтропией поступающих сообщений и пропускной способностью канала возможна почти безошибочная передача (при надлежащем кодировании, см. Шеннона теорема).

И. т. отыскивает оптимальные, в смысле скорости и надежности, способы передачи информации, устанавливая теоретические пределы достижимого качества. Как видно из предыдущего, И. т. носит существенно статистический характер, и поэтому значительная часть ее математических методов заимствуется из теории вероятностей.

Основы И. т. были заложены в 1948-49 американским ученым К. Шенноном. В ее теоретические разделы внесен вклад советским учеными А. Н. Колмогоровым и А. Я. Хинчиным, а в разделы, соприкасающиеся с применениями, - В. А. Котельниковым, А. А. Харкевичем и др.

Лит.: Яглом А. М., Яглом И. М., Вероятность и информация, 2 изд., М., 1960; Шэннон К., Статистическая теория передачи электрических сигналов, в кн.: Теория передачи электрических сигналов при наличии помех. Сб. переводов, М., 1953; Голдман С., Теория информации, пер. с англ., М., 1957; Теория информации и её приложения. Сб. переводов, М., 1959; Хинчин А. Я., Понятие энтропии в теории вероятностей, "Успехи математических наук", 1953, т. 8, в. 3; Колмогоров А. Н., Теория передачи информации, М., 1956, (АН СССР. Сессия по научным проблемам автоматизации производства. Пленарное заседание); Питерсон У. У., Коды, исправляющие ошибки, пер. с англ., М., 1964.

Ю. В. Прохоров.

ИНФОРМАЦИИ ТЕОРИЯ         
(иногда - сообщений теория) , раздел кибернетики, в котором математическими методами изучаются способы измерения количества информации, содержащейся в каких-либо сообщениях, и ее передачи.

ويكيبيديا

Теория информации

Теория информации — раздел прикладной математики, радиотехники (теория обработки сигналов) и информатики, относящийся к измерению количества информации, её свойств и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, теория оперирует математическими моделями, а не реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с информационной энтропией, коммуникационными системами, криптографией и другими смежными дисциплинами.

Область находится на пересечении математики, статистики, информатики, физики, нейробиологии, информационной инженерии и электротехники. Теория также нашла применение в других областях, включая статистический вывод, обработку естественного языка, криптографию, нейробиологию, человеческое зрение, эволюцию и функцию молекулярных кодов (биоинформатика), выбор статистической модели, теплофизику, квантовые вычисления, лингвистику, выявление плагиата, распознавание образов и выявление аномалий. Важные подразделы теории информации включают в себя сжатие данных, канальное кодирование, алгоритмическую теорию сложности, алгоритмическую теорию информации, информационно-теоретическую безопасность, реляционный анализ Грея и измерение информации.

What is Теория информации - definition